# DataFrame

## 개요
**DataFrame**(데이터프레임)은 데이터 과학 및 분석 분야에서 널리 사용되는 2차원 레이블이 붙은 표 형식 데이터 구조입니다. 행(Row)과 열(Column)로 구성되며, 각 열은 서로 다른 데이터 타입(정수, 실수, 문자열, 불리언, 날짜 등)을 가질 수 있습니다. DataFrame은 R 언어의 `data.frame`에서 유래했으며, Python의 `pandas` 라이브러리를 통해 데이터 과학 생태계에서 표준 구조로 자리 잡았습니다. 현재 데이터 전처리, 탐색적 데이터 분석(EDA), 머신러닝 파이프라인의 핵심 구성 요소로 활용되고 있습니다.

## 주요 특징
DataFrame은 일반적인 2차원 배열이나 관계형 데이터베이스 테이블과 비교했을 때 다음과 같은 고유한 장점을 가집니다.
- **레이블 기반 인덱싱**: 행과 열에 명시적인 이름(인덱스)을 부여하여 직관적이고 가독성 높은 데이터 접근이 가능합니다.
- **이종 데이터 타입 지원**: 열마다 다른 타입을 허용하므로, 실제 현실 데이터의 불완전성과 다양성을 자연스럽게 표현할 수 있습니다.
- **고급 연산 내장**: 필터링, 정렬, 그룹화(GroupBy), 병합(Merge/Join), 피벗(Pivot) 등 데이터 분석에 필요한 연산을 최적화된 API로 제공합니다.
- **결측치 명시적 지원**: `NaN` 또는 `None`과 같은 결측값을 구조적으로 지원하며, 관련 전처리 함수를 내장하고 있습니다.

## 유사 데이터 구조와의 비교
DataFrame과 유사한 구조들을 비교하면 다음과 같습니다.

| 구조 | 설명 | 주요 특징 |
|---|---|---|
| **DataFrame** | 2차원 레이블 데이터 구조 | 열별 이종 타입 지원, 풍부한 분석 API |
| **Series** | 1차원 레이블 데이터 구조 | 단일 열에 해당, DataFrame의 기본 구성 요소 |
| **NumPy Array** | 다차원 동질 타입 배열 | 메모리 효율적, 연산 속도 빠름, 타입 통일 필요 |
| **SQL 테이블** | 관계형 데이터베이스 구조 | 영구 저장, 트랜잭션 지원, SQL 쿼리 언어 사용 |

## 주요 연산 및 활용
DataFrame의 핵심 기능은 데이터의 생성, 조회, 변환, 저장 등 분석 전 주기를 아우릅니다. 대표적인 연산은 다음과 같습니다.

### 1. 데이터 생성 및 조회
딕셔너리, 리스트, CSV 파일 등을 통해 쉽게 생성할 수 있으며, `loc`과 `iloc`을 통해 레이블 기반 또는 위치 기반 인덱싱이 가능합니다.
```python
import pandas as pd

# DataFrame 생성
df = pd.DataFrame({
    '이름': ['김철수', '이영희', '박지민'],
    '나이': [25, 30, 28],
    '직군': ['개발', '디자인', '마케팅']
})

# 특정 열 조회 및 조건 필터링
ages = df['나이']
filtered_df = df[df['나이'] > 26]
```

### 2. 데이터 변환 및 집계
결측치 처리, 타입 변환, 그룹별 통계 계산 등 분석 전처리에 필수적입니다.
```python
# 그룹별 평균 계산 (GroupBy)
avg_age_by_job = df.groupby('직군')['나이'].mean()

# 결측치 채우기 및 타입 변환
df['나이'] = df['나이'].fillna(0).astype(int)
```

### 3. 데이터 병합 및 저장
여러 DataFrame을 SQL의 `JOIN`처럼 결합하거나, 다양한 포맷으로 저장할 수 있습니다.
```python
# 외부 데이터 저장
df.to_csv('output.csv', index=False)
df.to_excel('output.xlsx')
```

## 주요 구현체 및 라이브러리
DataFrame은 단일 라이브러리에 국한되지 않고 다양한 환경과 규모에 맞게 구현되어 있습니다.
- **Pandas**: Python 생태계에서 가장 널리 쓰이는 표준 라이브러리. 풍부한 API와 강력한 커뮤니티를 보유.
- **PySpark**: 대규모 분산 데이터 처리를 위한 Apache Spark의 DataFrame API. SQL 쿼리 스타일 연산 지원.
- **Polars**: Rust 기반의 고성능 DataFrame 라이브러리. 병렬 처리와 메모리 효율성에서 Pandas 대비 우수한 성능을 보임.
- **Dask DataFrame**: 메모리 한계를 극복하기 위한 분산 컴퓨팅용 DataFrame. Pandas API와 호환됨.

## 참고 자료 및 관련 문서
- [Pandas 공식 문서](https://pandas.pydata.org/docs/)
- [Apache Spark DataFrame API](https://spark.apache.org/docs/latest/api/python/reference/pyspark.sql/dataframe.html)
- 관련 개념: `Series`, `NumPy`, `SQL`, `관계형 대수(Relational Algebra)`, `데이터 전처리`
- 추천 학습 자료: *Python for Data Analysis* (Wes McKinney 저), *Data Science from Scratch* (Joel Grus 저)

## 이론적 배경: 관계형 대수와의 연결
DataFrame은 단순한 표 형태의 데이터 구조를 넘어, 수학적 기반인 **관계형 대수(Relational Algebra)**를 프로그래밍 언어 수준에서 구현한 것입니다. 관계형 데이터베이스(RDBMS)의 테이블이 튜플(Tuple)의 집합인 것처럼, DataFrame은 행과 열의 관계를 통해 데이터를 정의합니다. 특히 `merge`, `join`, `filter`, `groupby`와 같은 핵심 연산들은 관계형 대수의 선택(Selection), 투영(Projection), 조인(Join), 집계(Aggregation) 연산을 직접적으로 매핑하여 구현한 것으로, 이를 통해 선언적 데이터 조작이 가능해집니다.

## 메모리 관리 및 최적화
대용량 데이터셋을 처리할 때 DataFrame은 모든 데이터를 RAM에 적재하므로 메모리 부족(OOM) 문제가 발생하기 쉽습니다. 이를 해결하기 위해 다음과 같은 최적화 기법이 사용됩니다.

### 1. 데이터 타입 최적화 (Downcasting)
기본적으로 Pandas는 정수형에 `int64`, 실수형에 `float64`를 할당하지만, 실제 데이터 범위가 작다면 더 낮은 비트의 타입으로 변환하여 메모리를 획기적으로 줄일 수 있습니다.

| 기존 타입 | 최적화 타입 | 메모리 절감률 (이론치) | 비고 |
|---|---|---|---|
| `float64` | `float32` | 약 50% | 정밀도 손실 가능성 확인 필요 |
| `int64` | `int32` / `int16` | 50% ~ 75% | 데이터 최대/최소값 범위 확인 필요 |
| `object` (문자열) | `category` | 80% ~ 95% | 중복도가 높은 문자열 데이터에 매우 효과적 |

### 2. 청크(Chunk) 단위 처리
전체 파일을 한 번에 읽지 않고 `chunksize` 옵션을 사용하여 데이터를 분할 로드함으로써 메모리 점유율을 일정하게 유지하며 처리할 수 있습니다.

## DataFrame의 시간 복잡도 및 성능 특성
DataFrame의 연산 성능은 내부 구현 방식과 벡터화 여부에 따라 결정됩니다.

### 1. 주요 연산 시간 복잡도
- **인덱싱 (Indexing)**: 해시 맵 기반의 인덱스를 사용할 경우 $O(1)$, 정렬된 인덱스에서 이진 탐색 시 $O(\log n)$의 시간이 소요됩니다.
- **필터링 (Filtering)**: 전체 행을 스캔해야 하므로 $O(n)$의 시간이 소요됩니다.
- **조인 (Join/Merge)**: 구현 방식에 따라 다르나, 일반적으로 해시 조인(Hash Join)의 경우 $O(m + n)$의 복잡도를 가집니다.

### 2. 벡터화 연산(Vectorization)의 효율성
벡터화란 루프를 통해 요소를 하나씩 처리하는 대신, SIMD(Single Instruction, Multiple Data)를 활용하여 배열 전체에 동일한 연산을 동시에 적용하는 방식입니다.

**성능 비교 벤치마크 예시 코드:**
```python
import pandas as pd
import numpy as np
import time

# 100만 개의 데이터를 가진 DataFrame 생성
df = pd.DataFrame({'A': np.random.randn(1_000_000)})

# 1. 루프(Loop) 방식: 매우 느림
start = time.time()
result_loop = []
for val in df['A']:
    result_loop.append(val * 2)
print(f"Loop time: {time.time() - start:.4f}s")

# 2. 벡터화(Vectorization) 방식: 매우 빠름
start = time.time()
result_vec = df['A'] * 2
print(f"Vectorized time: {time.time() - start:.4f}s")
```

## 저장 방식 비교: 행 기반 vs 열 기반
최근 고성능 분석 라이브러리(Polars, Apache Arrow 등)는 **열 지향 저장소(Columnar Storage)** 개념을 채택하여 성능을 극대화하고 있습니다.

| 비교 항목 | 행 기반 저장 (Row-oriented) | 열 기반 저장 (Column-oriented) |
|---|---|---|
| **데이터 배치** | 행 단위로 연속 저장 (Row 1 $\rightarrow$ Row 2) | 열 단위로 연속 저장 (Col A $\rightarrow$ Col B) |
| **주요 용도** | OLTP (트랜잭션, 개별 레코드 쓰기/수정) | OLAP (분석, 대량의 집계 연산) |
| **읽기 효율** | 특정 행의 모든 컬럼을 읽을 때 유리 | 특정 컬럼의 모든 행을 읽을 때 유리 |
| **압축률** | 데이터 타입이 섞여 있어 압축 효율 낮음 | 동일 타입 데이터가 모여 있어 압축 효율 매우 높음 |
| **대표 예시** | PostgreSQL, MySQL, 일반적인 CSV | Parquet, Apache Arrow, Polars |

## 라이브러리 선택 가이드
사용 환경과 데이터 규모에 따라 최적의 DataFrame 구현체를 선택해야 합니다.

- **Pandas**: 데이터 크기가 메모리(RAM)의 1/3 이하이며, 풍부한 분석 생태계와 라이브러리 호환성이 최우선일 때 선택합니다.
- **Polars**: 단일 머신에서 수천만 행 이상의 데이터를 처리해야 하며, 멀티코어 병렬 처리와 빠른 실행 속도가 필요할 때 선택합니다.
- **PySpark**: 데이터 크기가 단일 서버의 메모리를 초과하여 여러 대의 서버로 분산 처리(Distributed Computing)가 필요할 때 선택합니다.
- **Dask**: Pandas API를 그대로 유지하면서, 메모리보다 큰 데이터를 지연 평가(Lazy Evaluation) 방식으로 처리하고 싶을 때 선택합니다.